Lê Khả Phiêu sinh ngày 27 tháng 12 năm 1931 ở làng Thạch Khê Thượng, xã Đông Khê, huyện Đông Sơn, tỉnh Thanh Hóa, Việt Nam. Năm 1945, ông tham gia phong trào Việt Minh tại địa phương và gia nhập Đảng Cộng sản Đông Dương ngày 19 tháng 6 năm 1949. Ngày 1 tháng 5 năm 1950, Lê Khả Phiêu được tổ chức Việt Minh điều động gia nhập quân đội. Ông bắt đầu trưởng thành từ một binh nhì thăng tiến dần đến chức vụ Chính trị viên Đại đội thuộc Trung đoàn 66 Đại đoàn 304. Từ tháng 9 năm 1954 đến năm 1958, ông lần lượt giữ các chức vụ Phó chính trị viên, Chính trị viên tiểu đoàn rồi Chủ nhiệm chính trị Trung đoàn 66.

Từ tháng 6 năm 1961 đến năm 1966, ông lần lượt giữ chức vụ Phó trưởng ban, Trưởng ban Cán bộ tổ chức Sư đoàn 304, sau đó là Phó chính ủy, rồi Chính ủy kiêm Trung đoàn trưởng Trung đoàn 9, Sư đoàn 304.

Năm 1967, Lê Khả Phiêu được điều động cùng Trung đoàn 9 vào chiến trường Trị Thiên, làm Chính ủy Trung đoàn. Năm 1968, ông làm Trưởng phòng Tổ chức Quân khu Trị Thiên. Đến năm 1970, là Phó chủ nhiệm Chính trị Quân khu Trị Thiên.

Tháng 5 năm 1974, khi Quân đoàn 2 được thành lập, ông được cử giữ chức Chủ nhiệm Cục chính trị Quân đoàn, hàm Thượng tá.

Năm 1978, Lê Khả Phiêu là Phó chính ủy kiêm Chủ nhiệm Chính trị, rồi Phó tư lệnh về chính trị Quân khu 9, hàm Đại tá. Đồng thời ông cũng kiêm nhiệm một chức vụ dân sự là Phó Bí thư Khu ủy Khu IX.

Tháng 4 năm 1984, Lê Khả Phiêu được thăng hàm Thiếu tướng, giữ chức vụ Chủ nhiệm chính trị, rồi Phó tư lệnh về chính trị kiêm Chủ nhiệm chính trị, Phó Bí thư Ban Cán sự Bộ Tư lệnh Quân tình nguyện Việt Nam tại Campuchia (mật danh Mặt trận 719).

Tháng 8 năm 1988, sau khi Việt Nam rút quân khỏi Campuchia, ông được thăng hàm Trung tướng và được điều về làm Phó Chủ nhiệm Tổng cục Chính trị Quân đội nhân dân Việt Nam.

Tháng 9 năm 1991, Lê Khả Phiêu là Chủ nhiệm Tổng cục Chính trị Quân đội nhân dân Việt Nam.

Năm 1992, ông được phong quân hàm Thượng tướng Quân đội nhân dân Việt Nam.